github开源项目flink-note的笔记。本博客的实现代码都写在项目的flink-state/src/main/java/state/keyed/KeyedStateDemo.java文件中。项目github地址：github1.flink键控状态flink键控状态是作用与flinkKeyedStream上的，也就是说需要将DataStream先进行keyby之后才能使用。键控状态会为每个key维护一份状态。flink支持五种键控状态，分别是：ValueState:维护一个值的状态，比方说我们要统计每个用户的购买次数，那么就先将流按照用户id进行keyby，然后维护一个类型为Intege
上一节我们分析到了Execution的生成，然后调用taskManagerGateway.submitTask方法提交task,提交的时候会将executionVertex封装成TaskDeploymentDescriptor,task的提交与执行涉及到了flink多个组件的配合，之前没有详细讲过，可能有的小伙伴有点不太清楚，这里我们花点时间介绍一下。1.Flink各个组件介绍1.JobManager在JobManager启动的时候会启动三个比较重要的组件：1.WebMonitorEndpoint:里面有大约六七十个handler，如果客户端使用finkrun的方式来提交一个job，最终会由W
FlinkSQL和TableAPI实现消费kafka写入mysql1、构建table环境//创建flink流处理环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);//table环境StreamTableEnvironmenttableEnv=StreamTableEnvironment.create(env);2、构建sourcekafka方式一：API//Kafka连接器Kafkakafka=newKafka() .
系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）Flink1.17实战教程（第三篇：时间和窗口）Flink1.17实战教程（第四篇：处理函数）Flink1.17实战教程（第五篇：状态管理）Flink1.17实战教程（第六篇：容错机制）Flink1.17实战教程（第七篇：FlinkSQL）文章目录系列文章目录1.基本处理函数（ProcessFunction）1.1处理函数的功能和使用1.2ProcessFunction解析1.3处理函数的分类2.按键分区处理函数（KeyedProcessFunction）2.1定时
文章目录来自于尚硅谷教程1.Flink概述1.1特点1.2与SparkStreaming对比2.Flink部署2.1集群角色2.2部署模式2.3Standalone运行模式2.3.1本地会话模式部署2.3.2应用模式2.4YARN运行模式2.4.1会话模式部署2.4.2应用模式部署2.5历史服务3.系统架构3.1并行度3.2算子链3.3任务槽(taskslot)3.4任务槽和并行度的关系3.5作业提交流程4.时间和窗口4.1窗口分类4.2窗口分配器4.2.1时间窗口4.2.2计数窗口4.3窗口函数4.3.1增量聚合函数(ReduceFunction/AggregateFunction)4.3.
目录一、处理函数概述 二、Process函数分类——8个（1）ProcessFunction（2）KeyedProcessFunction（3）ProcessWindowFunction（4）ProcessAllWindowFunction（5）CoProcessFunction（6）ProcessJoinFunction（7）BroadcastProcessFunction（8）KeyedBroadcastProcessFunction三、KeyedProcessFunction案例1.运行processElement方法中的事件时间(1)输入数据2.运行processElemen
01FlinkCDC简介FlinkCDC [1]是基于数据库的日志CDC技术，实现了全增量一体化读取的数据集成框架。配合Flink优秀的管道能力和丰富的上下游生态，FlinkCDC可以高效实现海量数据的实时集成。作为新一代的实时数据集成框架，FlinkCDC具有全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等技术优势，同时社区提供了完整的文档支持 [2]。在FlinkCDC开源的两年多时间里，社区成长迅速，目前FlinkCDC社区已有76位贡献者，7位Maintainer，社区钉钉用户群超过7800人。02FlinkCDC2.3概览在社区用户和贡献者们的共同努力下，Flink
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
Doris框架大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。主要实现的功能有：实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建：替换了原来由Spark,Hive，Kudu,Hbase等旧框架数据湖联邦查询：通过外表的方式联邦分析位于Hive，IceBerg,Hudi中的数据Doris架构后端：C语言编写的，用于数据查询前端：Leader,Follower,Oberserver部署注意事项磁盘空间按用户总数据量x3副本计算，然后再预留额外40%的空间。所有部署节点关闭swapFE节点数据至少为1
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
